不同任务不同去噪步：扩散语言模型的任务-时间感知量化
🧭 扩散语言模型 · 混合精度量化
Technion – Israel Institute of Technology · INSIGHT Lab, Ben-Gurion University of the Negev
发现扩散语言模型量化敏感性随任务与去噪步变化，提出无标签信号驱动的混合精度量化框架T2Quant
📌 工作参考价值（4 点）
- 若部署扩散语言模型做生成式推荐/Agent文本生成，可对去噪过程不同时间步做混合精度量化，而非全程统一位宽：在任务敏感步分配更高精度，其他步降低精度，能在固定显存/算力预算下提升生成质量。
- 采用无标签的敏感性信号（如全精度与量化模型输出分布的KL散度）离线为不同任务、不同时间步生成量化位宽策略，避免每个下游任务都需真实标注或评测指标，便于快速适配新业务场景。
- 该混合精度框架可与现有量化方法叠加（即插即用），工程上只需在推理时按步动态切换激活精度，不涉及模型重新训练；对需要反复去噪的扩散generation pipeline（如商品标题、推荐理由、Agent规划）可有效降低推理成本。
- 注意：这一结论源于扩散语言模型，若业务使用自回归LLM则借鉴有限；但若采用扩散或迭代解码架构，应避免沿用AR静态量化假设，需重新评估时间步/任务维度的敏感性。
几乎零成本优化循环Transformer解码
🧭 循环Transformer对比解码优化
Apple
训练无关的LoopCD对比解码，利用循环中间状态引导最终预测，提升推理质量并大幅降低计算量
📌 工作参考价值（4 点）
- 对比解码不依赖额外小模型或微调：可直接复用模型自身不同深度的输出，在 logit 或 hidden state 空间做差值引导。对线上已有 LLM 推理服务，可即插即用地提升生成质量，无需重新训练。
- 隐藏状态空间变体（LoopCD-Hidden）几乎零额外开销：适合对延迟敏感的电商搜索 query 生成、推荐理由生成等场景，无需增加输出层计算，直接对中间 hidden state 做对比。
- 循环 Transformer 架构下可动态调整深度：根据请求复杂度决定循环次数，再用 LoopCD 弥补浅层损失，实现精度与 FLOPs 的 trade-off。对需要弹性算力调度的在线推理系统有参考价值。
- 中间状态作为弱预测的直觉可迁移到其他多阶段推理模型（如 MoE 不同专家输出、多步推理的中间结果），利用“弱-强对比”放大模型确信信号，抑制不确定 token。
FlashVector：分层模型服务栈优化智能体
🧭 Agent 驱动的服务栈自动调优 ★ 深度解读
Stanford University · Unity Vector AI Team
将 LLM 驱动的 GPU kernel 优化范式推广到模型服务器、特征处理与运行时配置的全栈自动调优
📌 工作参考价值（4 点）
- 将服务栈各层抽象为统一的 Profile-Diagnose-Optimize-Verify 循环，每层只需提供领域化的 profiling 工具（GPU 用 Nsight，CPU 服务用 eBPF）和知识库，即可复用同一套 agent 框架优化 CUDA、C++、Python 等异构代码，避免为每个组件单独建系统。
- 优化验收必须通过生产流量回放 + 全栈负载测试，且收益超过测量噪声 floor（基线 ±6%，可重复采样收紧到 2.1%）；对浮点重排等改动设置预测输出偏差阈值，防止精度回退。这套验证机制可直接迁移到模型/服务的上线把关。
- 维护一个持续更新的优化知识库（业务逻辑、模型结构、组件架构、优化 cookbook），每次运行后只做 in-place refine 而不是累积全部历史，能有效控制上下文窗口增长、减少 LLM 幻觉，适合长期运行的优化 agent。
- 代码优化和参数搜索可以用同一 loop：在 SLO 约束下用真实请求回放搜索 batch size、实例数等配置，并通过 shadow canary 放量验证；模型每次重训或服务更新后自动触发新一轮，可以避免配置漂移导致的成本回升。
从检索上下文到运行时控制：边缘RAG的自适应压缩
🧭 RAG上下文压缩与边缘推理优化
Northeastern University
实测边缘RAG中固定压缩率不可靠，中间压缩率可降GPU能耗53.2%且质量损失可忽略，主张遥测驱动的自适应压缩
📌 工作参考价值（4 点）
- 在电商/广告的RAG型助手、搜索摘要或智能客服中，检索到的商品/内容上下文越长，prefill与KV cache成本越高；可引入LLMLingua-2等轻量压缩器先剪枝，再进入大模型生成。
- 不要用固定压缩率：按query长度、上下文冗余度、当前GPU/SoC能耗或尾延迟预算动态选择压缩率，中间档位往往比固定高压缩更划算。
- 把压缩器自身的延迟与能耗计入总账；端侧或边缘部署时，只有当生成节省明显大于压缩开销才启用，7B-8B模型下生成约占90%延迟，值得压缩。
- 可采集设备telemetry（GPU功耗、KV cache占用、QPS）作为运行时策略输入，在低负载时少压缩保质量，高负载或省电模式时提高压缩率。
MACRO：基于马尔可夫链的Transformer层路由
🧭 动态层路由优化推理
Heinrich Heine University Düsseldorf · Jagiellonian University · IDEAS Research Institute
不修改模型参数，通过马尔可夫链学习任务特定层路由，精度+5.0%，搜索时间降低9.4倍
📌 工作参考价值（4 点）
- 动态层路由可作为在线模型服务的推理加速手段，根据查询或上下文的复杂度自适应选择执行层数，在搜索推荐系统中平衡延迟与效果。
- 路由策略以马尔可夫链形式外挂于预训练模型，无需修改原始权重，便于在已有LLM上快速实验与部署。
- 利用top-k Viterbi解码生成高概率候选路径，可借鉴用于Agent多步推理中对执行路径的规划与剪枝。
- 将计算预算分阶段建模，可控制推理成本，适合在流量波动下动态调整资源分配，如大促时保障核心服务。
递归证据重放：提升LLM长上下文推理的免训练方法
🧭 长上下文推理 · 证据重放增强
University of Illinois Urbana-Champaign
通过递归选择与问题相关的上下文证据并重放，无需训练即提升LLM长上下文推理的证据利用率
📌 工作参考价值（4 点）
- 可将ReContext集成到现有LLM推理管线，用于处理长用户对话历史、多文档召回等场景，无需额外训练或外部存储。
- 在搜索推荐Agent中，当需要从大量上下文（如用户长期行为日志、多篇商品评论）抽取关键证据时，使用递归重放可显著提升LLM回答相关问题的准确性。
- 方法基于模型自身的注意力分数选择证据，可适配不同LLM架构，避免了硬截断上下文带来的信息丢失，适合在端侧或低资源推理中应用。
- 理论框架将上下文视为联想记忆存储体，对优化检索增强生成（RAG）系统的内部证据利用机制有启发，可指导设计更有效的上下文选择策略。
面向 Token 操作的大模型推理优化技术
🧭 大模型推理成本与效率优化
China Unicom (Data Intelligence / Data Science and AI Research Institute) · Tsinghua University · Peking University · Fudan University · Zhejiang Lab
首次提出四层 token 推理优化架构，系统梳理降本增效的产业技术路径
📌 工作参考价值（4 点）
- 模型路由与多模型融合：推荐系统常需多模型（精排、粗排、RAG等）协同，可借鉴论文的模型路由与融合调度策略，减少总推理调用量，降低 token 成本。
- KV Cache 命中与跨阶段复用：对话式推荐、Agent 记忆、长会话推荐中，跨请求的 KV Cache 缓存与预填充策略可直接降低首 token 延迟，提升交互体验。
- 量化与投机解码落地：对部署在 CPU/端侧的 LLM4Rec 模型，采用 INT4/INT8 量化、投机解码等典型技术可将推理成本压缩 3-5 倍，适合高并发推荐场景。
- 动态批处理与负载均衡：在推荐模型在线服务中，动态 batching 与跨节点的负载均衡可平滑流量峰值，保障推荐链路稳定性，尤其适合大促峰值保障。